M

MLOG

Slovenčina

Odomknite silu dát časových radov pomocou okenných funkcií. Táto príručka pokrýva základné koncepty, praktické príklady a pokročilé techniky pre analýzu dát.

Analýza časových radov: Zvládnutie okenných funkcií pre prehľad o dátach

Dáta časových radov, charakterizované svojou sekvenčnou a časovo závislou povahou, sú všadeprítomné v rôznych odvetviach. Od sledovania cien akcií a monitorovania návštevnosti webových stránok až po analýzu údajov zo senzorov a predpovedanie trendov predaja, schopnosť extrahovať zmysluplné informácie z dát časových radov je kľúčová pre informované rozhodovanie. Okenné funkcie poskytujú výkonný a flexibilný súbor nástrojov na vykonávanie výpočtov na množine riadkov, ktoré súvisia s aktuálnym riadkom v tabuľke alebo dátovom rámci, čo ich robí nepostrádateľnými pre analýzu časových radov.

Pochopenie dát časových radov

Dáta časových radov sú postupnosť dátových bodov indexovaných v časovom poradí. Dátové body môžu reprezentovať rôzne metriky, ako napríklad:

Analýza dát časových radov zahŕňa identifikáciu vzorov, trendov a sezónnosti, ktoré sa dajú použiť na predpovedanie budúcich hodnôt, detekciu anomálií a optimalizáciu podnikových procesov.

Úvod do okenných funkcií

Okenné funkcie, tiež známe ako okenné agregácie alebo analytické funkcie, vám umožňujú vykonávať výpočty na množine riadkov, ktoré súvisia s aktuálnym riadkom, bez toho, aby sa riadky zoskupili do jednej výslednej množiny ako tradičné agregačné funkcie (napr. SUM, AVG, COUNT). Táto schopnosť je obzvlášť užitočná pre analýzu časových radov, kde často potrebujete vypočítať kĺzavé priemery, kumulatívne súčty a ďalšie metriky založené na čase.

Okenná funkcia sa zvyčajne skladá z nasledujúcich komponentov:

  1. Funkcia: Výpočet, ktorý sa má vykonať (napr. AVG, SUM, RANK, LAG).
  2. OVER klauzula: Definuje okno riadkov použitých na výpočet.
  3. PARTITION BY klauzula (voliteľné): Rozdeľuje dáta do partícií a okenná funkcia sa aplikuje na každú partíciu nezávisle.
  4. ORDER BY klauzula (voliteľné): Určuje poradie riadkov v rámci každej partície.
  5. ROWS/RANGE klauzula (voliteľné): Definuje rámec okna, čo je množina riadkov vzhľadom na aktuálny riadok použitý na výpočet.

Kľúčové koncepty a syntax

1. Klauzula OVER()

Klauzula OVER() je srdcom okenných funkcií. Definuje okno riadkov, na ktorých bude funkcia pracovať. Jednoduchá klauzula OVER() bez argumentov bude považovať celú výslednú množinu za okno. Napríklad:

SQL Príklad:

SELECT
  date,
  sales,
  AVG(sales) OVER()
FROM
  sales_data;

Tento dotaz vypočíta priemerný predaj za všetky dátumy v tabuľke sales_data.

2. PARTITION BY

Klauzula PARTITION BY rozdeľuje dáta do partícií a okenná funkcia sa aplikuje samostatne na každú partíciu. To je užitočné, keď chcete vypočítať metriky pre rôzne skupiny v rámci vašich dát.

SQL Príklad:

SELECT
  date,
  product_id,
  sales,
  AVG(sales) OVER (PARTITION BY product_id)
FROM
  sales_data;

Tento dotaz vypočíta priemerný predaj pre každý produkt samostatne.

3. ORDER BY

Klauzula ORDER BY určuje poradie riadkov v rámci každej partície. To je nevyhnutné pre výpočet bežiacich súčtov, kĺzavých priemerov a ďalších metrík založených na čase.

SQL Príklad:

SELECT
  date,
  sales,
  SUM(sales) OVER (ORDER BY date)
FROM
  sales_data;

Tento dotaz vypočíta kumulatívny súčet predaja v čase.

4. ROWS/RANGE

Klauzuly ROWS a RANGE definujú rámec okna, čo je množina riadkov vzhľadom na aktuálny riadok použitý na výpočet. Klauzula ROWS určuje rámec okna na základe fyzického čísla riadka, zatiaľ čo klauzula RANGE určuje rámec okna na základe hodnôt stĺpca ORDER BY.

ROWS Príklad:

SELECT
  date,
  sales,
  AVG(sales) OVER (ORDER BY date ROWS BETWEEN 2 PRECEDING AND CURRENT ROW)
FROM
  sales_data;

Tento dotaz vypočíta kĺzavý priemer predaja za posledné 3 dni (vrátane aktuálneho dňa).

RANGE Príklad:

SELECT
  date,
  sales,
  AVG(sales) OVER (ORDER BY date RANGE BETWEEN INTERVAL '2' DAY PRECEDING AND CURRENT ROW)
FROM
  sales_data;

Tento dotaz vypočíta kĺzavý priemer predaja za posledné 2 dni (vrátane aktuálneho dňa). Upozorňujeme, že `RANGE` vyžaduje usporiadaný stĺpec, ktorý je číselného alebo dátumového/časového dátového typu.

Bežné okenné funkcie pre analýzu časových radov

1. Kĺzavý/Pohyblivý priemer

Kĺzavý priemer, tiež známy ako pohyblivý priemer, je široko používaná technika na vyhladzovanie krátkodobých výkyvov v dátach časových radov a zvýrazňovanie dlhodobejších trendov. Vypočíta sa spriemerovaním hodnôt za určené časové obdobie.

SQL Príklad:

SELECT
  date,
  sales,
  AVG(sales) OVER (ORDER BY date ROWS BETWEEN 6 PRECEDING AND CURRENT ROW) AS moving_average_7_days
FROM
  sales_data;

Tento dotaz vypočíta 7-dňový kĺzavý priemer predaja.

Python Príklad (použitím Pandas):

import pandas as pd

# Za predpokladu, že máte Pandas DataFrame s názvom 'sales_df' so stĺpcami 'date' a 'sales'

sales_df['moving_average_7_days'] = sales_df['sales'].rolling(window=7).mean()

Globálny aplikačný príklad: Nadnárodný maloobchodník by mohol použiť 30-dňový kĺzavý priemer na vyhladenie denných výkyvov predaja a identifikáciu základných trendov predaja v rôznych regiónoch.

2. Kumulatívny súčet

Kumulatívny súčet, tiež známy ako bežiaci súčet, vypočíta súčet hodnôt až po aktuálny riadok. Je užitočný na sledovanie celkovej akumulovanej hodnoty v čase.

SQL Príklad:

SELECT
  date,
  sales,
  SUM(sales) OVER (ORDER BY date) AS cumulative_sales
FROM
  sales_data;

Tento dotaz vypočíta kumulatívny súčet predaja v čase.

Python Príklad (použitím Pandas):

import pandas as pd

# Za predpokladu, že máte Pandas DataFrame s názvom 'sales_df' so stĺpcami 'date' a 'sales'

sales_df['cumulative_sales'] = sales_df['sales'].cumsum()

Globálny aplikačný príklad: Medzinárodná spoločnosť zaoberajúca sa elektronickým obchodom môže použiť kumulatívny predaj na sledovanie celkových príjmov generovaných z uvedenia nového produktu na rôznych trhoch.

3. Lead a Lag

Funkcie LEAD a LAG vám umožňujú pristupovať k dátam z nasledujúcich alebo predchádzajúcich riadkov, v danom poradí. Sú užitočné na výpočet zmien medzi obdobiami, identifikáciu trendov a porovnávanie hodnôt medzi rôznymi časovými obdobiami.

SQL Príklad:

SELECT
  date,
  sales,
  LAG(sales, 1, 0) OVER (ORDER BY date) AS previous_day_sales,
  sales - LAG(sales, 1, 0) OVER (ORDER BY date) AS sales_difference
FROM
  sales_data;

Tento dotaz vypočíta rozdiel v predaji v porovnaní s predchádzajúcim dňom. Funkcia `LAG(sales, 1, 0)` načíta hodnotu predaja z predchádzajúceho riadka (offset 1), a ak neexistuje žiadny predchádzajúci riadok (napr. prvý riadok), vráti 0 (predvolená hodnota).

Python Príklad (použitím Pandas):

import pandas as pd

# Za predpokladu, že máte Pandas DataFrame s názvom 'sales_df' so stĺpcami 'date' a 'sales'

sales_df['previous_day_sales'] = sales_df['sales'].shift(1)
sales_df['sales_difference'] = sales_df['sales'] - sales_df['previous_day_sales'].fillna(0)

Globálny aplikačný príklad: Globálna letecká spoločnosť môže použiť funkcie lead a lag na porovnanie predaja leteniek na rovnakej trase v rôznych týždňoch a identifikáciu potenciálnych výkyvov dopytu.

4. Rank a Dense Rank

Funkcie RANK() a DENSE_RANK() priradia každému riadku v rámci partície poradie na základe určeného poradia. RANK() priradí poradia s medzerami (napr. 1, 2, 2, 4), zatiaľ čo DENSE_RANK() priradí poradia bez medzier (napr. 1, 2, 2, 3).

SQL Príklad:

SELECT
  date,
  sales,
  RANK() OVER (ORDER BY sales DESC) AS sales_rank,
  DENSE_RANK() OVER (ORDER BY sales DESC) AS sales_dense_rank
FROM
  sales_data;

Tento dotaz zoradí hodnoty predaja v zostupnom poradí.

Globálny aplikačný príklad: Globálne online trhovisko môže použiť funkcie radenia na identifikáciu najpredávanejších produktov v každej krajine alebo regióne.

Pokročilé techniky a aplikácie

1. Kombinovanie okenných funkcií

Okenné funkcie sa dajú kombinovať na vykonávanie zložitejších výpočtov. Môžete napríklad vypočítať kĺzavý priemer kumulatívneho súčtu.

SQL Príklad:

SELECT
  date,
  sales,
  AVG(cumulative_sales) OVER (ORDER BY date ROWS BETWEEN 6 PRECEDING AND CURRENT ROW) AS moving_average_cumulative_sales
FROM
  (
    SELECT
      date,
      sales,
      SUM(sales) OVER (ORDER BY date) AS cumulative_sales
    FROM
      sales_data
  ) AS subquery;

2. Používanie okenných funkcií s podmienenou agregáciou

Okenné funkcie môžete používať v spojení s podmienenou agregáciou (napr. pomocou príkazov CASE) na vykonávanie výpočtov na základe špecifických podmienok.

SQL Príklad:

SELECT
  date,
  sales,
  AVG(CASE WHEN sales > 100 THEN sales ELSE NULL END) OVER (ORDER BY date ROWS BETWEEN 6 PRECEDING AND CURRENT ROW) AS moving_average_high_sales
FROM
  sales_data;

Tento dotaz vypočíta kĺzavý priemer predaja iba pre dni, keď je predaj vyšší ako 100.

3. Dekompozícia časových radov

Okenné funkcie sa dajú použiť na dekompozíciu časových radov na ich trendové, sezónne a reziduálne zložky. To zahŕňa výpočet kĺzavých priemerov na odhad trendu, identifikáciu sezónnych vzorov a následné odčítanie trendových a sezónnych zložiek na získanie rezíduí.

4. Detekcia anomálií

Okenné funkcie sa dajú použiť na detekciu anomálií v dátach časových radov výpočtom kĺzavých priemerov a štandardných odchýlok. Dátové body, ktoré spadajú mimo určitého rozsahu (napr. +/- 3 štandardné odchýlky od kĺzavého priemeru), sa dajú označiť ako anomálie.

Praktické príklady v rôznych odvetviach

1. Financie

2. Maloobchod

3. Výroba

4. Zdravotníctvo

Výber správneho nástroja

Okenné funkcie sú k dispozícii v rôznych nástrojoch na spracovanie dát a programovacích jazykoch, vrátane:

Výber nástroja závisí od vašich špecifických potrieb a technických znalostí. SQL je vhodný pre dáta uložené v relačných databázach, zatiaľ čo Python a Spark sú flexibilnejšie na spracovanie rozsiahlych dátových množín a vykonávanie komplexnej analýzy.

Osvedčené postupy

Záver

Okenné funkcie sú výkonný nástroj pre analýzu časových radov, ktorý vám umožňuje vypočítať kĺzavé priemery, kumulatívne súčty, hodnoty lead/lag a ďalšie metriky založené na čase. Zvládnutím okenných funkcií môžete odomknúť cenné informácie zo svojich dát časových radov a robiť informovanejšie rozhodnutia. Či už analyzujete finančné dáta, dáta o predaji, dáta zo senzorov alebo dáta o návštevnosti webu, okenné funkcie vám môžu pomôcť identifikovať vzory, trendy a anomálie, ktoré by bolo ťažké zistiť pomocou tradičných agregačných techník. Pochopením kľúčových konceptov a syntaxe okenných funkcií a dodržiavaním osvedčených postupov ich môžete efektívne využiť na riešenie širokej škály problémov reálneho sveta v rôznych odvetviach.